注意力機制Attention Mechanism，簡稱AM**

• 是目前深度學習中非常重要的一個機制。
• 是個提升系統專注力的功能機制，可以架接在任何深度學習的模式上。
• 透過另一層網路參數來學習每個字與其上下文之間的權重加成。
• 直接聚焦在與他相關的輸入數據上來記憶與處理，對於不相關沒有影響力的其他訊息，則給予低權值(類似尋找資料的直接索引法)
• 例子: Emma chase Annie做英翻中時，Chase這個字應該聚焦在中文的追字，經過數萬次訓練後，機器已經學習好詞語詞對應關係，所以當下次要翻譯類似句子時，機器讀到Chase後，就能馬上升成一個Input與Output相關性的對照表。
  
• 特色、優點:
  ①聚焦，再生成輸出時，只聚焦與當前要輸出的字有相關性最大的個別輸入訊息。
  ②豐富性，對每個個別的輸入，都會提供一個背景向量Context Vector，提供了相對豐富的訊息。
  ③重要性，依賴每個詞不同的相關性、重要性，直接來對特徵值。
  ④正確率高，幫助ED Model正確掌握輸出與輸入的精確點對點對應關係，因此提升了NLP許多任務的精確性，特別是在超大文本的資料集上。
• 主要應用:
  

Transformer

• 基於EDmodel，加上自我注意力機制Self-Attention(SATT)的一種深度學習模式。
• 常被用於一種預訓練模式Pre-trained Model。
• 完全放棄了傳統RNN家族的架構，利用自我注意力機制SATT來取代相對複雜、序列性、速度慢、計算耗時的RNN架構。
• 逐漸成為NLP的主流模式，跨時代的典範轉移，產生跨時代的強大語言模型BERT。
• 架構圖:
  
  
• 應用:①機器翻譯:不同語言輸入詞與詞的對映關係 ②文本摘要:長文本與摘要間對映關係 ③QA系統:Q與A對映關係 ④語音辨識:語音訊息與文字的對應關係 ⑤Chatbot ⑥情緒分析:不同詞與情緒表示的對映關係
• 優點(與RNN比較):①平行處理 ②訊息豐富 ③個數少、複雜性低 ④重要性

自我注意力機制Self-Attention，簡稱SATT

• 利用源端的注意力機制Source Attention、目標端的注意力機制Target Attention與源端目標端交叉注意力機制Cross Attention三種ATT來擷取與輸出豐富的語意資訊，並在生成輸出時快速正確長我辭語詞之間應該聚焦對齊的各種關鍵訊息。

1. 源端的注意力機制Source Attention:在輸入端能計算自己內部詞與詞之間的Attention來捕捉輸入內部訊息之間的依賴關係；對於句中每個字都平行獨立的去測量，依據輸入句子中其他字的關聯性大小，而賦予不同權重的一種注意力機制。
2. 目標端的注意力機制Target Attention:輸出的目標端計算自己的Attention並捕捉輸出內部個個詞與詞的關係與重要性。
3. 源端目標端交叉注意力機制Cross Attention:就是原本傳統Encoder與Decoder訊息的ATT，捕捉的是輸入序列的每個詞與輸出序列的每個詞之間的對應性與依賴關係。

因此相較於傳統機制，自我注意力機制多了兩個注意力。

參考來源:人工智慧:概念應用與管理 林東清